扎根的情况识别（GSR）旨在生成图像的结构化语义摘要，以``类人''事件的理解。具体而言，GSR任务不仅检测出明显的活动动词（例如购买），而且还可以预测所有相应的语义角色（例如代理和商品）。受对象检测和图像字幕任务的启发，现有方法通常采用两个阶段框架：1）检测活动动词，然后2）基于检测到的动词来预测语义角色。显然，这个不合逻辑的框架构成了语义理解的巨大障碍。首先，仅没有语义角色的前检测动词不可避免地无法区分许多类似的日常活动（例如，提供和赠与，买卖）。其次，以封闭的自动回归方式预测语义角色几乎无法利用动词和角色之间的语义关系。为此，在本文中，我们提出了一个新颖的两阶段框架，该框架着重于在动词和角色中利用这种双向关系。在第一阶段，我们没有预测动词，而是推迟检测步骤并假设一个伪标记，其中每个相应的语义角色都从图像中学到了每个相应的语义角色的中间表示。在第二阶段，我们利用变压器层发掘动词和语义角色内的潜在语义关系。借助一组支持图像，替代学习方案旨在同时优化结果：使用与图像相对应的名词更新动词，并使用支持图像中的动词更新名词。关于挑战性SWIG基准测试的广泛实验结果表明，我们翻新的框架在各种指标下的表现优于其他最先进的方法。
translated by 谷歌翻译
我们提出了将事件链接到知识库的多语言链接的任务。我们会自动编译一个针对此任务的大型数据集，包括180万个涉及Wikidata超过10.9k事件的44种语言提及。我们提出了事件链接任务的两个变体：1）多语言，其中事件描述来自与提及的语言相同的语言，以及2）交叉语言，其中所有事件描述均以英语为单位。在提出的两个任务上，我们比较了包括BM25+（LV和Zhai，2011年）在内的多个事件链接系统以及Blink（Wu等，2020）的Biencoder和Crossencoder体系结构的多语言改编。在我们对两个任务变体的实验中，我们发现Biencoder和Crossencoder模型均显着优于BM25+基线。我们的结果还表明，跨语言任务通常比多语言任务更具挑战性。为了测试所提出的链接系统的室外概括，我们还创建了基于Wikinews的评估集。我们提出了定性分析，强调了拟议数据集捕获的各个方面，包括需要在上下文上进行时间推理并解决跨语言的各种事件描述。
translated by 谷歌翻译
我们调查使用图像中包含的多模式信息作为增强文本生成的变压器模型的勤义的有效方法。我们在概念到文本生成中使用BART和T5进行实验，特别是生成致辞推理或蒙的任务。我们称之为Visctg：视觉地基础的概念到文本生成。VisctG涉及代表适当日常方案的标题图像，并使用这些标题来丰富和转向生成过程。综合评估和分析表明，VisctG显着提高了模型性能，同时成功地解决了基线几代的几个问题，包括差的致辞，流畅性和特异性。
translated by 谷歌翻译
由于低资源域名，新任务以及需要大量培训数据的大规模神经网络的普及，最近，数据增强最近看到了对NLP的兴趣增加。尽管最近的高潮，但由于语言数据的离散性质所带来的挑战，这一领域仍然相对望远欠了。在本文中，我们通过以结构化方式概述文献来展示对NLP的全面和统一对NLP的数据。我们首先介绍和激励NLP的数据增强，然后讨论主要的方法论代表性方法。接下来，我们突出显示用于流行NLP应用程序和任务的技术。我们通过概述当前挑战和未来研究的指示来结束。总体而言，我们的论文旨在澄清现有文学的景观，以便NLP的数据增强，并激励该领域的其他工作。我们还提供了一个GitHub存储库，纸张列表将在https://github.com/styfeng/dataaug4nlp上不断更新
translated by 谷歌翻译
根据其结构如何影响文本的解释和意义，文本中存在许多隐式推论。具有年代学中的文本中存在的一个这样的结构方面是其演示的顺序。对于叙述或故事，这被称为叙述顺序。重新排序叙述可能影响时间，因果，事件和其他推论读者从中抽取，这反过来可能对其解释和有趣有很大的影响。在本文中，我们提出并调查了叙事重新排序（Nareor）的任务，涉及以不同的叙述顺序重写给定的故事，同时保留其情节。我们在非线性订单中展示了一个DataSet，Nareorc，在洛奇因子内的故事中的人类重写，并对其进行详细分析。此外，我们提出了具有合适的评估指标的新型任务特定培训方法。我们使用诸如BART和T5等最先进的模型进行Nareorc的实验，并进行广泛的自动和人类评估。我们证明，尽管我们的模型可以体现，但是Nareor是一个具有挑战性的任务，具有进一步探索的潜力。我们还调查了Nareor的两种应用：生成更有趣的故事变化，并且作为临时/事件相关任务的对抗集，除了讨论其他潜在的任务之外，例如与文章技能相关的教学设置，如文章写作和医学的应用。涉及临床叙事。
translated by 谷歌翻译